Himmler gặp người vợ tương lai của mình, Margarete Boden, vào năm 1927. Boden hơn Himmler 7 tuổi và là một y tá, người đã cùng chia sẻ mối quan tâm của ông về thảo dược và vi lượng đồng căn; bên cạnh đó bà còn là một trong những chủ sở hữu của một bệnh viện tư nhỏ. Hai người kết hôn vào tháng 7 năm 1928 và sinh được một người con gái duy nhất là Gudrun vào ngày 8 tháng 8 năm 1929.[212] Họ đồng thời là bố mẹ nuôi của cậu bé có tên Gerhard von Ahe, con trai một sĩ quan SS từng qua đời trước chiến tranh.[213] Margarete đã bán số cổ phần của bà trong bệnh viện và dùng số tiền thu được để mua một mảnh đất ở Waldtrudering, gần Munich, tại đó họ dựng lên một căn nhà lắp ghép. Himmler luôn phải đi công chuyện cho đảng, do đó vợ ông đã phụ trách thêm khoản chăn nuôi gia súc để bán, nhưng đa phần là không thành công. Bọn họ cũng nuôi một chú chó có tên Töhle.[214] Sau khi Quốc xã lên nắm quyền, gia đình Himmler đã chuyển nơi ở, lần đầu là từ Möhlstrasse sang Munich, lần tiếp theo là họ chuyển đến Lake Tegern và mua một căn nhà ở đó vào năm 1934. Himmler sau đó cũng đã được nhận miễn phí một căn nhà lớn ở Dahlem ngoại ô Berlin và lấy đó làm nơi ở chính thức. Hai vợ chồng dần ít gặp mặt nhau khi Himmler trở nên hoàn toàn miệt mài với công việc.[215] Mối quan hệ giữa họ là căng thẳng.[216][217] Tuy vậy hai người đoàn kết trong việc thực hiện những nghĩa vụ xã hội, họ là những vị khách thường xuyên tại nhà Heyrich. Trách nhiệm của Margarete là đưa ra lời mời đến những người vợ của các lãnh đạo SS cấp cao về những buổi đi uống cà phê và trà vào mỗi chiều thứ tư.[218]

Hedwig Potthast là thư ký của Himmler từ năm 1936 và bà đã trở thành tình nhân của ông vào năm 1939. Potthast bỏ việc vào năm 1941. Himmler đã sắp xếp nơi ăn chốn ở cho bà, đầu tiên là tại Mecklenburg, sau đó đến Berchtesgaden. Ông có hai người con với Potthast; một con trai tên Helge (sinh ngày 15 tháng 2 năm 1942) và một con gái tên Nanette Dorothea (sinh ngày 20 tháng 7 năm 1944 tại Berchtesgaden). Margarete biết được mối quan hệ này vào khoảng năm 1941; vốn đã ly thân và sống cùng con gái ở Gmund, bà quyết định bỏ qua việc này vì lợi ích của con mình. Trong chiến tranh bà là y tá của Hội Chữ thập Đỏ và được bổ nhiệm làm người giám sát tại Khu Quân sự III (Berlin-Brandenburg). Himmler có mối quan hệ gần gũi với Gudrun-người con gái đầu được ông đặt cho biệt danh Püppi ("bé búp bê"); ông thường gọi điện vài ngày một lần và đến thăm con thường xuyên mỗi khi có thể.[219]

Những cuốn nhật ký của Margarete tiết lộ rằng Gerhard, con nuôi của bà và Himmler, đã rời bỏ Học viện Đào tạo Chính trị Quốc gia tại Berlin vì những kết quả học tập nghèo nàn. Vào năm 16 tuổi Gerhard gia nhập SS tại Brno và tham gia chiến đấu không lâu sau. Gerhard bị lính Nga bắt giữ nhưng sau đó được thả quay trở về và sống tại miền Bắc nước Đức.[220]

Hedwig và Margarete, cả hai vẫn giữ lòng trung nghĩa với Himmler. Trong bức thư gửi cho Gebhard vào tháng 2 năm 1945, Margarete viết: "Thật tuyệt vời làm sao khi mà ông ấy đã từng được giao cho những nhiệm vụ lớn và đáp ứng được chúng. Cả nước Đức đang trông chờ vào ông ấy."[221] Hedwig cũng diễn tả những cảm nghĩ tương tự trong một bức thư gửi đến Himmler vào tháng 1. Margarete và Gudrun rời Gmund khi quân Đồng Minh tiến đến khu vực này. Bọn họ bị lính Mỹ bắt giữ tại Bolzano, Italy, và bị nhốt trong những trại giam khác nhau ở Italy, Pháp và Đức. Sau đó hai người bị đem đến Nuremberg để lấy lời khai tại các phiên tòa, họ được thả tự do vào tháng 11 năm 1946. Gudrun hồi phục từ những trải nghiệm cay đắng bởi sự ngược đãi vô căn cứ và bà vẫn tiếp tục tưởng nhớ đến người cha của mình.[222][223]